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PROCEDE D' EVALUATION DE LA QUALITE DE SEQUENCES 

AUDIOVISUELLES 

La presente invention a pour objet un proced4 
d' evaluation de la qualite d'une sequence audiovisuelle, 
une telle sequence etant definie, sous sa forme la plus 
ggn^rale, coinine comprenant des signaux audio et/ou video. 

La nutnerisation des signaux audio et vid^o a 
ouvert la possibility de pouvoir copier, stocker ou 
transmettre ce type d' information en maintenant une. 
qualite constante. Cependant la grande quantity 
d' information vehiculee par les signaxix audiovisuels 
n^cessite en pratique 1 'utilisation de m^thodes de 
compression numerique pour reduire le d^bit binaire. 

La norme MPEG2 decrit un certain type . de 
techniques applicables pour la reduction dedSbit. Ces 
algorithmes sont dits "avec pertes", car les signaux 
restitues apres le d^codage ne sont plus identiques aiix 
originaxix. Afin de maintenir une qualitS acceptable pour 
le telespectateur final, les algorithmes de reduction de 
d4bit tiennent conpte des proprietSs perceptuelles de 
I'oeil et de I'oreille humaines . En depit de ceci, les 
contraintes imposees, de debit ou de largeur de bande 
disponible pour la transmission, ainsi que le contenu des 
signaux impliquent 1' apparition de degradations 
caracteristiques sur le signal aprds decodage. Ces 
degradations introduites par la chaine globale MPEG2 - 
codage et transmission - influent directement sur la 
quality finale pergue. 

L' evaluation automatique de la qualite des 
signaux audiovisuels a un large champ d' applications dans 
la chaine de television numerique : production, 
distribution, et Evaluation des performances des 
syst^mes . 

Les dispositifs existants ont par centre 6t.6 
eiabores pour des tests en laboratoires et ne sont pas 
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adaptes pour la tel^surveillance des reseaux de 

distribution. 

La qualification des degradations affectant la 
qualite de 1 • image et de 1' audio lors de 1 • application 
d'un codage a reduction de debit ou d'une transmission, 
est possible de deux manieres differentes. D'une part, 
les tests subjectifs conduits dans des conditions 
precises, fournissent des resultats reproductibles . 
Cependant, ils sont longs et cofiteux a realiser. D' autre, 
part, les systemes automatiques d' Evaluation de la 
qualite par des mesures objectives permetteiit, p^r . 
exemple, de faciliter la mise au point et la coraparaison 
d'algorithmes de codage. Ils off rent la possibility de 
tester de maniere ponctuelle ou en continu des systSmes 
num^riques. Pour obtenir des mesures objectives 
significativement corr616s aux. valeurs subject ives,. les 
propri^t^s du systeme visuel humain doivent §tre prises 
en compte . 

La notion de qualitS est essentiellement 
relative. En effet, meme le telEspectateur placE dans des 
conditions habituelles d' observation (chez lui) juge de 
la quality des signaiix qui lui sont presentes par rapport 
a une reference. Celle-ci est dans ce cas constitute de 
ses attentes ou de ses habitudes. De meme, une methode 
d' evaluation de quality objective effectue une analyse 
des degradations introduites par le systdme sur les 
signaxix en tenant compte des signaux de r6t6rence 
presents en entree du systdme. L ' ttude des mStriques 
objectives passe done, d'une part, par 1 'analyse des 
dtfauts introduits dans les signaux, et d'autre part par 
celle du systeme perceptuel humain et de ses propriytts. 
Les differentes approches sont fondles soit sur le calcul 
du signal erreur, soit sur 1 ' identification de signatures 
particulieres des artefacts introduits par le systdme 
audiovisuel. L' application de modSles perceptuels permet 
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d- evaluer 1 • importance des degradations pour le systeme 

perceptuel humain SPH. 

Les essais subjectifs sont le r^sultat de la 
soumission des signaux audiovisuels k un ensemble 
d- observateurs repr^sentatif s de la population. II s'agit 
de r^aliser dans des conditions de visualisation et 
d'6coute contrei^es, un ensemble de sondages de 
satisfaction. En effet, les signaux sont pr4sent€s aux 
observateurs selon un protocole pr^dSfini, de maniere a. 
les faire rSagir sur la qualiti finale. La gradation de 
la quality suivant une gchelle pr6d€finie est ef feature. 
Des notes d' evaluation de la quality sont obtenues a la 
suite de la presentation de sequences audio, vid^o ou de 
sequences audio et video simultanement . Des calculs 
statist iques permettent d-af finer ces notes individual les 
en les filtrant et en les homogeneisant . Plusxeurs 
methodologies d'essais subjectifs sont normalisees 
notamment dans la recommandation ITU-R Bt.500 intituiee 
"Method for the subjective assessment of the quality of 
television pictures". Deux d-entre elles utilisant une 
echelle de notation continue sont : 

• DSCQS : protocole dit "Double Stimulus 
Continuous Quality Scale". 

• SSCQE : protocole dit "Single Stimulus 
Continuous Quality Evaluation" . 

La premiere methode permet d'obtenir iine note 
pour une sequence video de 10 secondes. II faut presenter 
successivement les deux sequences A et A', respectivement 
originale et degradee (cf. figure 1). 

La seconde methode s'affranchit des signaxjx de 
reference pour evaluer de manidre intrinseque une 
sequence donnee. La figure 2 presente une courbe de 
notations subjectives realisee sur une sequence longue de 
30 minutes. L'axe des abscisses represente 1 ■ axe du 
temps. Un echantillon de la notation subjective est 
releve tous les N secondes. L'axe des ordonnees 
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represente I'echelle de gradation de la qualite. La 
courbe montre 1 • impact sur la qualite subjective de 
toutes les perturbations subies par la sequence. 

Les mesures objectives peuvent etre realisees 

selon di verses approches. 

Le principe de 1 ■ approche qui utilise les 
modeles perceptuels est de simuler le comport ement du 
systeme perceptuel humain (SPH) partiellement ou 
completement. Sachant qu'il s'agit dans ce contexte de 
determiner la qualite des signaux audiovisuels, il suffit 
pour cela d'Svaluer la perceptibility des erreurs. En 
effet, la niod61isation de certaines fonctions du SPH 
pertnet de quantifier 1' impact des erreurs sur les organes 
sensitifs de I'homme. Ces modeles agissent corome des 
fonctions de pond^ration appliqu^es aux signaux 
d- erreurs. De cette manidre, 1' effet de chaque 
degradation est moduli proportionnellement . Le processus 
global permet d'6valuer ob j ectivement la quality des 
signaux trans itant a t ravers un systeme audiovisuel (voir 
20 figure 3) . 

Des signaux de reference S^ef representant . par 
exemple une sequence audiovisuelle, et des signaux de 
cette sequence, degrades par un systeme audiovisuel SA, 
sont compares dans un module MID d' identification des 
d^fauts, puis une note NT leur est attribute par 
comparaison k un module MOD. 

Dans I'optique du calcul du signal d'erreur, 
le rapport signal sur bruit peut itre considers comme un 
facteur de quality. Mais on observe en pratique qu'il est 
peu representatif de la quality subjective. En effet, ce 
paramdtre est trds globalisant, et n'est done pas a m§me 
de saisir les degradations locales, typiques des syst^mes 
numeriques. De plus, le rapport signal sur bruit permet 
d'evaluer lone fidelity tres stricte des signaux degrades 
par rapport aux originaux, ce qui est different d'une 
qualite perceptuelle globale. 
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L'obtention d'une meilleure evaluation de 
quality passe par 1 'utilisation des nombreuses donnees 
experimentales sur le systeme perceptuel humain. Leur 
application est grandement facilitee, car celui-ci a 6t6 
etudig pour sa sensibility S un stimulus (ici I'erreur) 
dans le contexte de 1 • image par exemple. Dans ce cadre, 
on s'intgresse a la reponse du systeme visuel (SVH) a un 
contraste, et non plus a une grandeur absolue telle que 

la luminance. 

Diverses images de test, telles que des plages 
uniformes de luminances, ou des frequences spatiales ou 
temporelles, ont permis de determiner experiment a lement 
la sensibility du systSme visuel et les valeurs des 
contrastes juste perceptibles associ^s. Le SVH a une 
reponse d* allure logarithmique a 1' intensity de la 
lumidre, et une sensibilite optimale aux frequences 
spatiales vers 5 cycles/degre . L' application de ces 
resultats doit toutefois se faire avec prudence, car ce 
sont des valeurs de seuil de visibility. Ceci explique la 
difficulty de prydire 1 • importance de dygradations de 

forte an^litude. 

Les modules audit if s procddent d'une maniSre 
similaire. Expyrimentalement , la sensibility aux 
diffyrents stimulus est mesurge. Elle est appliquge par 
la suite aux diffyrents signaux d'erreurs pour yvaluer la 
quality . 

Cependant, les signaxox audiovisuels sont 
complexes en termes de richesse de 1 • information. D- autre 
part, de manidre pratique, 1 • utilisation de ce type de 
moddles pour les signaux audiovisuels souldve plusieurs 
probiymes. Outre le fait que les signaux de ryfyrence et 
dygradys doivent se trouver physiquement au meme endroit, 
une mise en correspondance spatiale et temporelle exacte 
des syquences est indispensable. Cette approche peut done 
trouver des applications dans 1 • evaluation d' equipements 
localisys dans le meme laboratoire, tel qu'un codeur, ou 
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dans certains cas de transmission tel que le satellite, 
pour lequel 1 ' emetteur et le ricepteur peuvent etre dans 

le meme local. 

L'approche qui utilise les modules 
5 param^triques realise une cotnbinaison d-une serie de 
parametres ou d • indicateurs de degradation retenus pour 
^laborer la note objective globale. 

Les mesures objectives appliqu^es aux signaux 
audio et/ou video sont des indicateurs du contenu des 
10 signaux et des degradations qu'ils ont subies . En effet, 
la pertinence de ces paramdtres depend de leur 
repr6sentativit6 en terme de sensibilite aux dSfauts. 

Deux categories d'approches sont alors 
possibles dans le cas de 1 • Elaboration des paramdtres : 

1. cat^gorie I "Avec connaissance a priori du 
signal de reference" ; 

2. categoric II "Sans connaissance a priori 
du signal de reference". 

La premiere cat^gorie I d'approche repose sur 
la realisation de la mgme transformation ou du meme 
calcul de pararadtres sur le signal de reference et le 
signal degrade. L-eiaboration d'une note de qualite 
globale reside dans la comparaison des resultats issus 
des deux traitements. L'ecart mesure traduit les 
25 degradations subies par le signal. 

La deioxieme categorie II d'approche ne 
necessite pas de connaissance sur le signal original, 
mais seulement de connaitre les caracteristiques 
specif iques des degradations. II est alors possible de 
30 calculer un indicateur par type de degradation ou plus. 
En effet, le codage a bas debit et la diffusion perturbee 
des signaux de television numerique generent des defauts 
caracteristiques identif iables : effet de blocs, gel 
d' images etc. Des facteurs detectant ces defauts peuvent 
35 §tre eiabores et utilises comme indicateurs de la 
qualite. 



20 



7 



Exetnple de modele parametrique : 

De nombreux parametres ont ete proposes dans 

la litterature pour mettre en oeuvre les modeles 

parametriques. L'objet de la presents invention n'est 
5 d'ailleurs pas de definir de nouveaux parametres, maas de 

proposer un module general pour 1 ■ exploitation de ces 

me sure s . 

L'approche consiste k comparer les deux xmages 
(image de r^f^rence et image dSgradee) seulement sur la 
10 base de parametres caract^ristiques de leur contenu. Le 
choix de ces parametres est 1±€ a leur sensibilxte a 
certaines degradations que le systSme e ^valuer 
introduit. Par la suite, une mesure de quality est 
construite par correlation en utilisant une serie de 

15 mesures subjectives. 

Comme exemple, nous citons une technique 
developpee par I'lTS (Institue of Telecommunication 
sciences, USA). Elle repose sur 1- extract ion d'un 
parametre spatial SI et d'un parametre temporel TI, 

20 caracteristiques du contenu des sequences (voir fxgure 
4) pour plus d> informations, on se reportera k I'Article 
de A A WEBSTER et collaborateurs intitule "An objective 
video quality assessment system based on humain 
peception" paru dans SPIE - volume 1913, pages 15-26, 

25 juin 1993. 

L- information spatiale consideree cotnme 
importante est ici celle des contours. Pour une image X ^ 
une date t, le parametre spatial SI est obtenu k partxr 
de l-ecart-type de 1- image filtree par les gradients de 
30 Sobel. Cette technique permet de faire ressortir les 
contours de 1' image analysee, qui jouent un role 
important dans la vision : 
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SJt= <T^,y{SobeliI^{x,y)]) 
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D'une tnaniere analogue, 1 ' information 
tetnporelle a un instant donne est definie par I'ecart- 
type de la difference de deux images consecutives : 

Tit = o-x,y{J^t(x/y) - IfA^'V^ 3 ) ) 
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Une mesure basSe sur ces deux informations 
permet de mettre en valeur le changement de contenu entre 
1- entree du systeme vid6o (S„,) et sa sortie (S.) , par 
diff6rentes comparaisons . 



Ml =logio 



TIs it) 



si^t(t)- sis (t) 
si^fit) 
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TIs ( t) - ri,ef ( 
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Trois parametres M^, Mj, M3, sont tires de ces 
comparaisons dans un comparateur COMP. Chacun est 
sensible ^ une ou plusieurs degradations. Ainsi, par la 
comparaison des parametres SI, on prend en corapte 
1- introduction de flou (baisse de SI) et les contours 
artificiels introduits par I'effet de blocs (augmentation 
de SI). De mSme, des differences entre les dexax versions 
de TI revelent des d§fauts de codage du mouvement . 

L'etape suivante consiste ^ effectuer une 
soramation sur le temps pour M^, M^. M3 par I'une des normes 
de Minkowski Lp (en general, p=I, 2 ou . De cette 
manidre, la construction du modele de sommation est 
possible. II permet de produire une note de quality a la 
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sortie d'un module de sommation SHOD. Le modele choisi 
est une corabinaison lineaire des Mi : 

Q = a + ySMi + +MM3 

Les coefficients de pondSration (a, fi, Y, M) 
sont calculus par une procedure iterative MIN de 
minimisation de la distorsion entre les notes objectives 
Q et les notes subject ives obtenues sur le meme lot 
10 d'images. En effet, il s'agit de trouver par iteration 
les param^tres du moddle cotnbinatoire . De cette maniere, 
la mesure objective estim^e approchera au mieux la note 
subjective. L'indice de performance du module est donne 
par le coefficient de correlation. 

Un exemple de modele a M propose dans la 
litt^rature. Il a permis d'obtenir un bon coefficient de 
correlation : 0,92. 

0 = 4,77 - 0,992Mi - 0,272M2 - 0356Mj 

Toutefois, il semble que les performances des 
modules combinatoires soient moins bonnes avec des images 
differentes de celles du lot ayant servi a mettre le 

modile au point . 

La mise en oeuvre de cette approche est moins 
contraignante que la prgcgdente. Toutefois, il reste en 
pratique la difficult^ de la mise en correspondance 
spatiale et temporelle des notes des deux sequences du 
signal . 

Un objet de 1' invention est un precede qui 
permette une bonne mise en correspondance entre des 
mesures objectives et des notations subject ives que 
donnerait un panel de spectateurs. 

Un autre objet de 1 • invention est un procede 
35 permettant une evaluation de sequence audiovisuelle de 
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maniere absolue, c ' est-a-dire sans avoir acces a une 
sequence d'origine non degradee. 

Un autre objet de 1 ' invention est un precede 
qui permette de maniere simple et efficace d'evaluer la 

5 qualite de signaux audiovisuels dans un r6seau de 
teledif fusion de signaux audio et/ou video. 

Au moins un des buts prScites est atteint par 
un precede d' evaluation de la qualite d'une sequence 
audiovisuelle, caracterise en ce qu'il met en oeuvre : 

jQ a) un apprentissage cortqprenant 1 'attribution 

dune note subjective NS, a chacune de N„ sequences 
d- apprentissage S, (avec = 1, 2 . . .Wj pr^sentant des 
degradations identifi^es par un vecteur d'.apprentissage 
MO, qui est affect^ S chaque sequence selon un premiet 

15 proc6d6 de vectorisation. pour constituer une base de 
donn^es composSe des N„ vecteurs d' apprentissage MO, et 
des notes siabjectives NS, ; 

b) le classement des N„ vecteurs 
d'apprentissages MO, en ic classes de notes en fonction des 

20 notes subject ives WS, qui leur ont 6t6 attributes, pour 
former k ensembles d' apprentissage EA^ (avec j = l,2...k) 
auxquels sont attribues k notes d- apprentissage 

signif icatives NSR^.; 

c) pour chaque ensemble d' apprentissage EA^, 
25 1 • Elaboration selon un deuxieme procgde de vectorisation 

d'lan dictionnaire de reference compose de Nj vecteurs 
de r6f6rence VR^ (avec = 1,2. -Nj) ; 

d) pour ladite sequence audiovisuelle ^ 
evaluer, 1 • elaboration d'un vecteur MO selon ledit 

30 premier proctdt de vectorisation ; 

e) le choix parmi les vecteurs de rSf^rence 
VRi des ;c dictionnaires de rSfSrence, du vecteur de 
reference VR^. le plus proche dudit vecteur MO ; 

f) 1 'attribution cl la sequence audiovisuelle ^ 
35 gvaluer de la note d' apprentissage significative NSR^, 
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correspondant au dictionnaire de reference auquel 
appartient ledit vecteur de reference VR^. le plus proche. 

Les notes d ' apprentissage signif icatives NSRj 
peuvent etre reparties de maniere uniforme le long d'une 
gchelle de notation, ou tnieux encore de maniere non 
uniforme, ce qui permet de rendre les mesures plus 
significatives, par exemple par le fait que certains au 
moins des dictionnaires de rSf^rence peuvent alors 
contenir sensiblement le m€me non,bre de vecteurs de 

reference. _ ^^ 

Selon un mode de realisation prefere, la 

repartition des notes d' apprentissage significatives NSRj 
s'effectue par apprentissage. 

Le precede est alors caracterise en ce qu il 
comprend, entre a et b, une identification des Ic notes 
d. apprentissage significations NSR„ a partir des notes 
subjectives NS, dont chacune est considSrge comme un 
vecteur a une dimension, en recherchant une distance 
minimale entre 1' ensemble des notes subjectives NS, et 
les Jc notes d- apprentissage significatives. 

D'autres caracteristiques et avantages de 
1- invention appara£tront mieux avec la description qui va 
suivre et les dessins qui 1 - accompagnent et dans 

lesouels : ^ _ 

. la figure l et la figure 2 illustrent les 

deux methodes d- Evaluation de I'Art Ant^rieur. 

respectivement dgnommEs DSCQS et SSCQE ; 

- la figure 3 illustre une approche connue 
mettant en oeuvre des modeles perceptuels ; 

- la figure 4 illustre xine methode d^veloppee 

par I'lTS ; , , . 

la figure 5 illustre une realisation 

preferee de la mise en oeuvre de 1- invention ; 

- la figure 6 illustre la formation d'un 
dictionnaire selon 1- invention ; 
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- la figure 7 illustre le processus de 
notation d'une sequence a evaluer, selon 1 ■ invention ; 

- la figure 8 illustre une repartition 
uniforroe des intervalles de notes subject ives ; 

la figure 9 est un exemple de la frequence 
d' apparition des notes subjectives NS^ ; 

- la figure 10 illustre un processus 
d- identification de notes subjectives representatives 

selon 1 ' invention ; • • 

la figure 11 est un exetnple de repartition 
non uniforme des notes subjectives obtenues . selon . le 
processus illustr^ par la figure 10 ; 

- les figures 12 et 13 illustrent lila 
precision d'une Evaluation selon 1' invention ; . 

- et les figures 14 et 15 repr^sentent une 
mise en oeuvre de !• invention en ce qui conceme 
respectivement la phase d'apprentissage et la phase 

opSrationnelle . 

L' invention se pr^sente comme un proc^de 
d' evaluation objective de la quality des signaux audio et 
video basee sur un ensemble de parametres. 

Le precede ne necessite pas de definir de 
nouveaux param§tres. Son idee de base est de proposer un 
modele ggn^ral base sur la quantification vectorielle 
pour 1- exploitation de ces mesures. II s'agit d'une 
approche par apprentissage qui permet de donner des notes 
objectives de qualite aux signaxix audiovisuels. Cette 
evaluation est effectu^e de maniSre corriiee k la 
notation subjective k I'aide d'un module perceptuel 
objectif. Pour ce faire, le module opere en deux etapes . 

La premiere etape est realisSe a partir d'un 
ensemble de sequences audiovisuelles d'apprentissage. Le 
modele effectue une raise en correspondance entre deux 
bases de donn^es eiabor^es sur les m§mes signaiox 

audiovisuels : 

■ une base de notes siabjectives (SDNS) , 



13 



■ une base de mesures objectives extraites 

des signaux audio et vide (BDMO) , 
pour associer a un ensemble d' indicateurs de 
degradations (formant un vecteur de mesures objectives), 

une notation subjective. 

Cette phase permet d'obtenir une connaissance 
pertinente pour la qualification de la quality des 

signaxax. j > n 

Pendant la seconde ^tape, qui correspond a la. 

phase op^rationnelle du proc€d4. ce dernier effectue une 
exploitation de ses connaissances . En effet, k chaque 
fois qu'il est n^cessaire de qualifier la qualite d-une 
sequence audiovisuelle, le module realise une extraction 
de param^tres represent at if s des degradations. Par la 
suite, il confronte le resultat des calculs a sa base de 
connaissance. Cette operation permet de donner une note 
objective tres proche de la note subjective qu'aurait pu 
donner un panel representatif . Le processus utilise dans 
la presents invention utilise la quantification 
vectorielle. Le principe est de trouver dans les 
dictionnaires le vecteur representatif le plus proche du 
vecteur de parametres calculus sur les signaux audio et 
vid^o. La note subjective g€nMe peut par example §tre 
celle qui est associee au dictionnaire contenant le 
vecteur representatif les plus proche. 

La problematique de la quantification 
vectorielle a €t6 identifi6e dans la litt^rature. Elle se 
resume par la definition de ses trois composantes 
principales interdependantes : 

■ la formation de vecteurs a partir des 
informations ^ coder, 

■ la formation du dictionnaire k partir d'un 
ensemble d' apprentissage , 

- la recherche du plus proche voisin a I'aide 
d'une distance appropriee . 
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La notion de distance ou distorsion entre deux 
vecteurs est introduite pour la recherche du plus proche 
voisin dans le dictionnaire . Plusieurs distances ont 6te 
proposees pour optimiser la quantification vectorielle et 
pour approcher au maximum la fidelity aux signaux 
initiatix. 

La distance ou distorsion appelee erreur 
quadratique, est parmi celles qui sont les plus utilisees 
pur la quantification vectorielle. L' appellation distance 
ici n-est pas exacte, il s'agit, en fait, du carr4 d'une 
distance au sens math^matique du terme. 
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j5 (A/B) deux vecteurs de dimension t. 

La quantification vectorielle est utilis^e 
dans le cadre de la pr^sente invention pour ^laborer un 
modele perceptuel objectif. Ce modele sera exploit^ pour 
quantifier la qualite des signaux audiovisuels . 
20 Soit un ensemble E de sequences audio de 

n secondes chacune. El les sont toutes composees d'une 
serie d' images vid6o et d ' echantillons audio. 
B={Si/i=. .Nj 

Ces sequences ont transit^ Sl travers des 
25 configurations representatives des syst^mes de 
distribution de la t#16vision num^rique. En effet, les 
reseaux de distribution et de diffusion mis en oeuvre 
sont le satellite, le cSble et le r€seau terrestre. Des 
perturbations ont ete introduites lors de la transmission 
30 des signa\ix audiovisuels afin de les d#grader. 

Nous avons r4alis# des essais svibjectifs sur 
cet ensemble de sequences d^gradees. Une base de donnfies 
de notes subjectives a 4t6 glabor^e. 
BDES= {NSi/i=l . . Wo} 
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NSi represente la Note Subjective obtenue par 
la sequence de 1 ' ensettdale E. 

D' autre part, nous avons glaborg une autre 
base de donates k partir des Mesures Objectives MO, 
r^alisees sur 1' ensemble des sequences E. 

BDMO= (M0i/±=1 . • K) 
Avec MOi= (Vj, - . , ^z) 

A chaque sequence S, correspond un vecteur MO, 
(voir figure 5). Ces vecteurs sont composes de t 
paratnStres V, calculus sur les signaux audio et/ou video, 
ces parametres peuvent Stre comparatifs (categorie I) ou 
intrinseques (categorie II). Us informent sur le contenu 
et sur les degradations subies par la sequence - 

Afin de former pour chaque sequence 
audiovisuelle S, son vecteur representatif MO,, un proc6dg 
distinct calcule des parametres objectifs extraits a 
partir des echantillons des signaux num^riques audio et 
vid§o . 

A partir des donn^es que nous avons decrites, 
le proced^ opdre une phase d' apprentissage. En effet, un 
traitement adapts de ces donn^es permet de dgvelopper une 
base de connaissance que le module utilisera par la suite 
dans sa phase operationnelle. 

Pour 1- ensemble E des sequences S,. une 
repartition en k classes de notes EA, est effectu6e. Pour 
cela, on utilise la valeur de la note subjective NS, 
attribute a la sequence S,. L'intervalle d'evolution de 
NS, est done fragment^ en k segments I, distincts auxquels 
sont associ^s les Jc ensembles d- apprentissage EAj. Une 
note subjective representative WSJ?,- est associee a chaque 
segment j. Cette operation se traduit par un groupement 
dans chaque classe de note EA^ des donnees concernant les 
sequences dont la qualite a ete jugee similaire ou 
equivalente. 
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La valeur k (par exemple ;c=5) est prise ici 
comme exemple d' application dans la Figure 5. Une 
repartition sur un nombre de classes inferieur ou 
superieur est envisageable en fonction des besoins de 
precision de 1 • equipement de metrologie. 

Les vecteurs MO^ de mesures objectives des 
sequences S, correspondant k un intervalle de valeurs 
de notes subjectives NS, sont rassembles dans 1- ensemble 
d'apprentissage EA,. k ensembles d- apprentissage sont 
alors formes a partir des bases de donn^es initiales 

(cf . Figure 5) . 

A partir d'un ensemble d'apprentissage de M 

vecteurs, le dictionnaire de rSf^rence, compose de N 
vecteurs, est celui qui repr^sente le mieux 1- ensemble 
vectoriel initial. Il emploie un groupe de vecteurs 
pr^sentant la plus petite distance ou distorsion moyenne . 
par rapport k tous les M vecteurs de 1' ensemble 
d'apprentissage, parmi les autres dictionnaires candidats 
possibles. La construction du dictionnaire est bas6e sur 
la formation des meilleurs vecteurs representatif s . 

Des algorithmes de classification sont 
utilises, de fagon a ^laborer un dictionnaire de vecteurs 
representatif s a partir d'un ensemble initial ; ce 
dernier est appel€ "training set" ou ensemble 

d' apprentissage . 

Plusieurs auteurs ont propose des solutions 

pour la classification en dictionnaires. 

■ Nuies dynamiques, ou Algorithme LBG, 

■ MSthode du r6seau de neurones de Kohonen. 
Pour chaque classe de notes £Aj et h partir 

des vecteurs MOi de mesures objectives et de leurs notes 
WSi (voir figure 6), on applique une procedure FORM de 
formation d'un dictionnaire Dj. 

k dictionnaires Dj. composes respectivement de 
vecteurs sont associ^s aux k classes ou plages de notes 
subjectives. La valeur de Wj est choisie suivant le nombre 
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initial de vecteurs de la classe de notes EAj et selon la 
precision souhaitee pour le modele. Chaque dictionnaire Dj 
est done associe a un intervalle Ij des notes subjectives. 

Les algorithmes utilises pour la formation des 
5 dictionnaires Dj sont le LBG et les reseaux de neurones 
Kohonen. Ces m^thodes donnent des resultats comparables. 
Ces techniques sont d'autant plus efficaces que malgre 
des tallies Nj, choisies expressement limit^es (par 
exemple = . . . ) , les dictionnaires de r6f6rence restent 

10 repr^sentatifs. 

Le but d'un dispositif automatique 
d' Evaluation de la qualit6 des signaux est de fournir une 
note finale d' Evaluation desdits signaux. Dans sa phase 
opErationnelle de f onctionnement le procedE decrit dans 
la presente invention se decline suivant deux processus 

(voir figure 7) . 

Le premier reside dans le traitement des 
Echantillons audio et/ou video de la sequence 
audiovisuelle h evaluer SAE afin d'en extraire les 
param^tres. En effet, un vecteur Vi d' indicateurs de la 
qualite de 1' audio et/ou de la video est formE suivant 
les categories I et/ou II decrites precedemment . II 
permet de representer les caractEristiques pertinentes 
pour la qualification des signaux. 
25 Le second processus (QUANT) fait correspondre 

par qualification vectorielle au vecteur Vi de paramEtres 
en entr6e qui est attribue ^ une sequence audiovisuelle ^ 
Evaluer, I'indice j du dictionnaire le plus proche. A cet 
effet, la minimisation de la distorsion entre le vecteur 
incident et tous les vecteurs des k dictionnaires est 
opEree. Elle permet d' identifier le dictionnaire Dj auquel 
appartient le vecteur U le plus proche de Vi, et done 
1 ' indice j - 

L' operation utilisee de maniere avantageuse 
dans cette approche, est la quantification vectorielle. 
Elle permet de trouver le plus proche voisins d'un 
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vecteur Vi et par consequent son meilleur representant 
dans un dictionnaire ou dans un ensemble de 
dictionnaires. A un vecteur d' entree presente, la 

quantification vectorielle determine a quel vecteur de 
5 quel dictionnaire il est le plus proche, et attribue ^ ce 
vecteur la note d' apprentissage significative NSRj de ce 

dictionnaire Dj. 

Rappelons, que I'indice j n'est autre que la 
classe de qualite obtenue a la suite d'une gradation des 
10 essais subjectifs op§res sur les sequences 
audiovisuelles. Pour cette technique de separation en 
plusieurs ensembles d' apprentissage, il y a deux points 

importants a 6tudier : 

■ la taille de chaque dictionnaire 

■ la position des plages de notes de chaque 

dictionnaire . 

La taille de chacun des dictionnaires presente 
une certaine importance. En effet, le nombre de vecteurs 
influence directement la repr4sentativit6 du 
dictionnaire, et par consequent I'efficacite de la 
quantification vectorielle. 

D' autre part, la position des plages de notes 
est tout aussi importante. Il faut savoir quelles notes 
on va associer entre elles. On peut par exemple reserver 
une grande plage de notes pour la mauvaise qualiti, ainsi 
des que la quality se degrade un minimum, le 
quantificateur le detectera. On peut aussi faire le 
contraire, en r^servant une petite plage pour la mauvaise 
qualite, avec ceci le quantificateur ne detectera la 
mauvaise qualit6 vid^o iiniquement que si celle-ci est 

fortement d^grad^e. 

On voit done, qu' k 1 • aide de ces detox 
paramdtres, on peut influencer la quantification 
vectorielle. On peut aussi influencer cette 
quantification en ajoutant un pr4traitement sur les 
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parametres objectifs calcules a partir des signaux audio 
et/ou video. 

Nous avons d^fini ci-dessus le fonctionnement 
du proc^de en trois Stapes principales : d'abord la 

5 formation des mesures objectives MOi, puis la construction 
des dictionnaires Dj, et enfin la recherche du 
dictionnaire dans lequel se trouve le vecteur le plus 
proche d'un vecteur de mesures objectives. Le module peut 
alors attribuer k la sequence Si, representee par les 

10 mesures objectives MO^, la note subjective representative 
NSRj associee au dictionnaire D^, en utilisant sa base de 
connaissances . Cependant, un processus de choix gventuel 
des plages de I'echelle de notes subject ives n'a pas 6t.6 
defini, ni celui de choix de la note representative NSRj 

15 associee a chaque dictionnaire D^. Le partitionnement de 
I'^chelle de la note subjective est une etape in^ortante, 
car il va d^finir les notes que le modele sera capable de 
foumir lors de la phase operationnelle . 

Selon ce qui a ete defini precdderament , chaque 

20 classe est definie par 1' ensemble d • apprentissage EA^ de 
mesures objectives, et un intervalle Ij de I'gchelle des 
notes subjectives NS^, 

Dans le cas de tests subject if s a echelle de 
notation discrete, le nombre de notes representatives et 

25 de plages correspondantes est naturellement limite par le 
nombre de niveaux que peut prendre la note (en general 5 
niveaux) . 

Dans le cas de tests subject if s a echelle de 
notation continue les possibilites sent beaucoup plus 
30 variees : le nombre d' ensembles d' apprentissage peut §tre 
quelconque. Deux approches sont alors possibles : soit 
les intervalles de notes subjectives sont choisis 

arbitrairement, soit une procedure automatique qui permet 
de choisir des intervalles Ij est appliquee. 
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Partitioimement arbitraire 

Un choix arbitraire des intervalles de notes 
subjectives NS^ (voir figure 8, pour une repartition 
uniforme) a I'avantage de ne necessiter aucune ressource 
5 particuliere lors de 1 • implantation materielle de 
1* invention " dans un equipement . Cependant, ce 
partitionnement qui ne tient pas compte de la repartition 
effective des notes subjectives pour les sequences de 
1' ensemble E (figure 9) risque de definir certains 

10 intervalles qui ne contiendront pas ou tres peu de notes 
subjectives NS^, alors qu'un seul intervalle pourra 
contenir la plupart des notes. 

Une telle repartition in^gale des notes 
subjectives entre les intervalles a un double 

15 inconvenient pour le modele : 

1. En premier lieu, quelle que soit la taille 
des dictionnaires et la sensibility des parametres VI.. t 
aux degradations, I'ecart entre la note sxibjective 
prgdite et la note subjective reelle ne peut pas €tre 

20 minimise. En effet, la phase operationnelle associe a 
tout vecteur VI.. t de parametres objectifs la note NSR^ du 
dictionnaire le plus proche . L» intervalle de notes 

subjectives represents par NSR^ etant d'une certaine 
largeur de 1 ' intervalle, I'ecart moyen ne pourra pas 

25 descendre en dessous d*un certain seuil, fonction de la 
largeur de 1 ' intervalle . Dans le cas oil 1 • ensemble 
d'apprentissage EA^ correspondant contient la plus grande 
partie des sequences Si, le module va trds frequemment 
utiliser la note NSR^ et done commettre frequemment xine 

30 erreur nominale. La performance moyenne du modele pour 
cette classe p de notes sera done limitee par cette 
largeur d' intervalle, et serait amelioree en rSduisant 
1* intervalle. Par consequent, pour la classe p 
reprSsentant la plus grande partie des sequences S^, c'est 

35 la performance moyenne du modele qui est limit6e. 
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On voit done qu'un partit ionnement en 
intervalles plus petits dans les zones denses au sens du 
notnbre de notes subject ives obtenues dans la base de 
donn^es DBNS est avantageux. 

2. En second lieu, une approche arbitraire 
pour le partit ionnement peut amener a avoir un notnbre 
global non optimal de vecteurs pour les diet ionnaires . 
Nous avons vu que pour ce type de part it ionnement , les 
ensembles d'apprentissage EA/ formes pourront §tre de 
tallies trSs diff^rentes. II s'ensuit que, pour un 
ensemble d'apprentissage EA^ de taille importante, 
I'algorithme de la phase de classification aura besoin de 
beaucoup de vecteurs dans le dictionnaire D^, pour 
parvenir k repr^senter EA^ avec une distorsion voulue. 
Cela est du a la grande diversite des donn^es a 
reprSsenter. Un partit ionnement garantissant de ne pas 
obtenir de d^s^quilibre important quant a la taille des 
ensembles d'apprentissage peut r^soudre ce point Par 
ailleurs, il n'est pas certain que la taille plus modeste 
des autres ensembles d'apprentissage permette de r^duire 
la taille de leurs diet ionnaires . L' ensemble se 
traduirait done par une augmentation des coflts 
d' implantation materielle de la m^thode, ainsi que par 
line diminution de la precision du moddle. 

Une reponse partielle k ces inconvenients est 
de faire un partitionnement de mani^re empirique, k 
chaque fois qu'un ensemble E de sequences est 6tudi6. 
Pour cela on s'efforcera done de partitionner plus 
finement I'echelle des notes aux endroits ou le nombre de 
notes NSi est important. 

Toutefois, il est bien plus interessant 
d'appliquer une procedure automatique, qui permettra de 
plus de faire un partitionnement optimal, en mettant en 
oeuvre un partitionnement automatique qui s • adapt e a la 
repartition statistique des notes subjectives attributes 
a 1' ensemble E des sequences S^. 
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En effet, on a vu qu'un partitionnement 
arbitraire n'est a priori pas adapte a la repartition des 
notes subjectives NSi le long de I'echelle de notation 
subjective. Bien que 1' ensemble E des sequences 

5 d' apprentissage soit representatif des degradations, on 
observe generalement que la repartition des valeurs de NSt 
est ef f ectivement loin d'etre uniforme, par exemple dans 
le cas de la television numerique. La figure 9 presente 
la frequence d' occurrence des notes subjectives NSi = on 

10 observe que beaucoup de notes sont proches d'un niveau de 
qualite elev6. Les classes de haute qualite pourront done 
representer la grande majorite des notes alors que la 
classe la plus basse sera presque vide. .L' utilisation 
d'une procedure automatique de partitionnement optimal 

15 garantissant une repartition plus equitable de cat 
ensemble DBMS de notes subjectives va permettre d'obtenir 
une meilleure performance du modele final. 

Ce probleme est avantageusement resolu par un 
precede constitue de deux etapes : tout d' abord une 

20 identification de k notes subjectives representatives 
NSRj, puis le choix de la note subjective NSRj 
repr^sentant le mieux une note subjective NSi. 

1. Une identification des k notes subjectives 
representatives NSRj est effectuee a partir des notes 

25 subjectives NSi (figure 10) . Le procede considere que 
chaque note NSi est un vecteur k une dimension^ afin 
d'appliquer un processus d* elaboration d'un dictionnaire 
de reference) . Une des methodes LBG, nuees dynamiques, ou 
reseau de neurones de Kohonen est utilisee afin d'obtenir 

30 le nombre desir§ k de representants NSRj, 

Ce type de methode tend a rechercher le 
minimum de distorsion, au sens de la distance ^ entre 
1* ensemble des NS^ et des NSR^. II repond done 
parfaitement aux inconvenients du positionnement dit 

35 arbitraire . 
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2. La classification de 1' ensemble 

d'apprentissage DBMO en k ensembles EAj. Pour cela, on 
considere les couples de donnees {MOu NSi) , chacun 
correspondant a une sequence Si. Pour chaque couple, on 
recherche la note subjective representative NSRj la plus 
proche de NS, par application de la procedure de 
quantification vectorielle, ce qui permet de determiner 
I'indice j. Le vecteur de donnees objectives MOi est alors 
ajoute k I'ensemble d'apprentissage EAj. La creation des 
ensembles EAj dans lesquels sont repartis les vecteurs MOi 
est terminee lorsque tous les couples (WOi, NSi) ont ete 
traites. 

Un exemple de partitionnement . optimal de 
l-echelle de notation subjective est donne en figure 11 
et illustre la difference avec la figure 8. 

Le modele est ici utilise afin d'illustrer ses 
possibilites sur un programme de television numerique 
contenant des degradations. Les notes subjectives ont ete 
obtenues selon le protocols SSCQE, c'est-a-dire une note 
toutes les demi-secondes . On considdre alors que le 
programme est const itue d'une sgrie d'autant de courtes 
sequences S, d'une demi - seconde , que de notes. 

La figiire 12 montre 1 'evolution conjointe de 
la note subjective NS sur une demi-heure. On constate que 
la note objective attribuge NSR suit precisement la note 
sxibjective NS (en pointilies) . 

La figure suivante 13 montre de maniSre 
synthetique la correspondance entre la note predite par 
le modele et la note subjective reelle, pour la meme 
experience, ainsi que la precision du modele. On 
distingue 7 classes, qui correspondent a autant de 
valeurs de notes predites (note objective NS en abscisse, 
note subjective NSR en ordonnee) . 

Pour chaque classe, le graphique represente la 
moyenne des notes subjectives reelles (Moy) donnees par 
les observateurs. On constate la bonne linearite de la 
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correspondance entre les deux notes, ce qui est un 

premier critere de performance. 

La moyenne des notes subject ives reelles (Moy) 

est egalement encadree par deux autres reperes (EcartT) . 
5 Pour chaque classe, ces reperes indiquent 1' amplitude, 

par rapport a la moyenne, de I'ecart-type des notes 

subjectives correspondant a la note objective de la 

classe. Une faible valeur signifie que le module est 

precis. Les valeurs obtenues pour cet €cart-type sent 
10 comparables aux performances des tests subjectifs qui 

constituent la reference pour le module, ce qui est tout 

k fait satisf aisant • 

Un mode de mise en oeuvre de 1' invention va 

maintenant etre d^crit, en liaison avec les figures 14 et 
15 15. 

Afin d'evaluer la quality de signaux 
audiovisuels, le procede met done en oeuvre devix phases : 
une phase d' apprentissage (figure 14) et une phase 
operationnelle (figure 15) . 

20 La phase d ' apprentissage est effectuee une 

seule fois. Elle consiste a obtenir les k dictionnaires 
Dj de vecteurs de mesures objectives, et les notes 
subjectives representatives NSR^ associees. Cette phase 
est realisee a partir : 

25 ■ d'une part, de la Base de Donnees de 

Mesures Objectives (BDMO) , obtenue a partir de signaux 
audio et/ou video et d'un processeur (non represente) de 
calcul de parametres (MO, Mesures Objectives) • 

■ d ' autre part , d * une Base de Notes 

30 Subjectives {DBMS) obtenue ^ partir des memes signaux 
audio et/ou vid^o que la base BDMO et d'un ensemble 
d ' observateurs . 

La phase d' apprentissage peut se dSconposer en 

3 etapes : 
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1. Un processeur de construction du 
dictionnaire permet de trouver les k notes subject ives 
NSRj, representatives de la base BDNS. 

2 . Chaque vecteur de la base BDMO est 
5 a j cute a I'un des k ensembles d' apprentissage EA^ en 

fonction de la classe j a laquelle appartient la note NS 
de la base BDNS correspondant au vecteur. La classe j est 
obtenue grSce k un processeur de quantification 
vector i el le qui recherche la note NSR^ la plus proche de. 
10 la note NS. 

3. Enfin, chaque dictionnaire (dicol, ... 
dicok) , compose de vecteurs est obtenu a partir de 
1- ensemble d' apprentissage EA^ correspondant, grtce a xjn 
processeur de constructions de dictionnaire. 

15 La phase operationnelle est ensuite appliquee 

a chaque fois que la qualite d'une sequence audiovisuelle 
doit §tre predite. Cette phase exploite la connaissance 
acquise par le modele au cours de la phase 
d' apprentissage. Pour un vecteur de paramdtres objectifs 

20 MO issu d'une sequence audiovisuelle, on calcule une note 
objective de qualite. Les paramdtres objectifs MO sont 
fournis par un processeur de calcul de paramdtres qui 
peut etre quelconque. 

Cette phase operationnelle peut alors se 

25 decomposer en deux Stapes : 

1. Un processeur de quantification vectorielle 
recherche le vecteur U le plus proche du vecteur de 
parametres objectifs MO en entree, parmi tous les 
vecteurs des dictionnaires (dicol, ... dicok) obtenus 

30 lors de la phase d ' apprentissage . Le processeur foumit 
alors le num#ro j du dictionnaire correspondant. 

2. L'Stape suivante peut alors attribuer a la 
sequence audiovisuelle la note de quality de valeur NSRj. 
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REVENDICATIONS 

1. Proced^ d' evaluation de la qualite d'une 
sequence audiovisuelle, caracteris^ en ce qu'il met en 
oeuvxe : 

a) un apprentissage comprenant 1 ' attribution 
dune note subjective NS, h chacune de N„ sequences 
d' apprentissage S, (avec = 1,2...N,) pr6sentant des 
degradations identifiees par un vecteur d ■ apprentissage 
MO, qui est affecte a chaque sequence S, selon un premier 
precede de vectorisation, pour constituer une base de 
donn^es composee des W„ vecteurs d' apprentissage MO, et 

des notes subject ives NS, ; 

b) le classement des vecteurs 
d'apprentissages MO, en k classes de notes en fonction des 
notes subjectives NS, qui leur ont gt6 attributes, pour 
former k ensembles d ' apprentissage EAj (avec j = \,2...k) 
auxquels sont attributs k notes d' apprentissage 

signif icatives NSR^.; 

c) pour chaque ensemble d' apprentissage EAj, 
1 "Elaboration selon un deuxieme precede de vectorisation 
d'un dictionnaire de r^f^rence compost de Nj vecteurs 
de r^firence VR^ (avec I = l,2...N^) ; 

d) pour ladite sequence audiovisuelle a 
evaluer 1 ■ elaboration d'un vecteur MO selon ledit premier 

25 procedt de vectorisation ; 

e) le choix parmi les vecteurs de rgftrence 
VR^ des k dictionnaires de rtftrence, du vecteur de 
reference VR^. le plus proche dudit vecteur MO ; 

f) attribution k la sequence audiovisuelle k 
^valuer de la note d' apprentissage significative NSRj, 
comportant au dictionnaire de reference auquel appartient 
ledit vecteur de rtftrence VR,. le plus proche. 

2. Procede selon la revendication 1, 
caracttrisg en ce que les notes d' apprentissage 
35 significatives NSR^ sont rtparties de manidre uniforme le 
long de I'Schelle de notation. 
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3. Precede selon la revendicat ion 1, 
caracterise en ce les notes d- apprentissages 
significatives NSR, d'au moins certains des k 
dictionnaires de reference sont r^parties de mani^re non 
uniforme le long de I'gchelle de notation. 

4. Procedg selon la revendicat ion 3, 
caracterisg en ce que ladite repartition est telle qu'au 
moins certains des dictionnaires de reference contiennent 
sensiblement le mStne notrbre de vecteurs de reference . 

5. Proc^d^ selon une des revendicat ions 3 ou 
4 caract6ris6 en ce qu'il con^^rend, entre a et b, une 
identification des k notes d'apprentissage significations 
NSR„ a partir des notes subjectives NS, dont chacune est 
considiree comme un vecteur & une dimension, en 
recherchant une distance minimale entre 1- ensemble des 
notes subjectives NS, et les k notes d- apprentissage 
significatives. 
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REVENDICATIONS 

1. Precede d' evaluation de la qualite d'une 
sequence audiovisuelle, caracterise en ce qu'il met en 
oeuvre : 

a) un apprentissage comprenant 1 • attribution 
d'une note subjective NS^ Bl chacune de sequences 
d- apprentissage S, (avec i = 1,2...NJ presentant des 
degradations identifiees par un vecteur d • apprentissage 
MOi qui est affecte a chaque sequence selon un premier 
proc^d^ de vectorisation, pour constituer une base de 
donnees composee des vecteurs d' apprentissage MO^ et 
des notes siibjectives NS^ ; 

b) le classement des N„ vecteurs 
d' apprentissage WO, en k classes de notes en fonction des 
notes siobjectives NS, qui leur ont ete attributes, pour 
former k ensembles d' apprentissage EA, (avec j = l,2...k) 
auxquels sont attributs k notes d • apprentissage 

signif icatives NSRj.; 

c) pour chaque ensemble d ' apprentissage EA^, 
1 • Elaboration selon un deuxieme procede de vectorisation 
d'un dictionnaire de reference compose de vecteurs 
de rtftrence VR^ (avec 1 = l,2...Nj) ; 

d) pour ladite sequence audiovisuelle a 
^valuer 1 • elaboration d'un vecteur MO selon ledit premier 

25 procede de vectorisation ,- 

e) le choix parmi les vecteurs de rtftrence 
VR, des k dictionnaires de reference, du vecteur de 
reference VR^. le plus proche dudit vecteur MO ; 

f) attribution a la sequence audiovisuelle a 
evaluer de la note d' apprentissage significative NSRj. 
correspondant au dictionnaire de reference auquel 
appartient ledit vecteur de reference VK,, le plus proche. 

2. Proced§ selon la revendication 1, 
caracterist en ce que les notes d' apprentissage 

35 significatives NSR^ sont rtparties de manidre uniforme le 
long de l'§chelle de notation. 
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